Kasteel Huyenhoven werd in 1860 opgericht als buitenverblijf voor de befaamde Vilvoordse dokter Charles Rayé naar een ontwerp van de Brusselse architect Antoine Trappeniers die ook verantwoordelijk was voor het ontwerp van het nieuwe stadhuis van Vilvoorde. Het werd gebouwd aan de noordrand van het Floordambos nabij het gehucht Huyenhoven op de grens van Perk, Peutie en Melsbroek.
In diverse literaire bronnen wordt tuinarchitect Fuchs aangehaald als ontwerper voor het oorspronkelijke park met Engelse aanleg, vijvers en een variëteit aan hoogstammen.
In 1994 werd het kasteel grondig gerenoveerd, uitgebreid en ingericht als kunstgalerij, waardoor een deel van het oorspronkelijke karakter verloren ging.